查看原文
其他

“黑盒”下的攻击实现,真实世界的“人脸识别”遭遇危险!

RealAI 瑞莱智慧RealAI 2022-09-24

瑞莱智慧RealAI致力于研究和推广安全、可靠、可解释的新一代人工智能,聚焦AI基础技术的自主研发,追踪国内外AI技术领域前沿研究进展,通过本微信公众号不定期分享最新AI技术成果。


作为最重要的计算机视觉任务之一,人脸识别技术(Facial recognition)基于深度神经网络(CNN)提取人脸特征来实现。


近年来,由于深度神经网络(CNN)的巨大进步,人脸识别技术取得了显著的发展,被广泛使用于身份认证的实际应用中,比如:手机解锁、闸机认证,甚至是金融业务中身份核实、支付等诸多场景。


但就如之前在《除了人脸伪装,“视频攻击”也在来的路上...》中提到的,深度神经网络(CNN)容易受到“对抗样本”的攻击影响,通过添加人眼无法察觉的小扰动,可以使模型产生不正确的预测。也已经有研究证明,通过定制一副带有干扰的“眼镜”,可以逃逸识别或者被误识为另一个人。


图:利用“对抗样本”生成的“眼镜”实现物理攻击的示例


当然,对抗性攻击(Adversarial Attack)可以评估人脸识别系统在实际应用中的鲁棒性 (Robustness),识别深度神经网络模型的“弱点”并帮助提高鲁棒性。只是目前被熟知的大多是白盒攻击,真正接近现实场景的黑盒攻击鲜被关注。

 

瑞莱智慧RealAI首席科学家、清华大学朱军教授率领的研究团队最新发表《Efficient Decision-based Black-box Adversarial Attacks on Face Recognition》的研究论文,提出了一种对人脸识别系统基于决策的黑盒攻击方法——演化攻击(Evolutionary Attack),该方法成功攻击了真实环境下的人脸识别系统。


对人脸识别系统的对抗攻击


根据攻击者对受害模型背后信息的获取程度,可以将对抗攻击大致分为两类:

  • 白盒攻击(White-box Attacks):获取机器学习模型内部的所有信息和参数进行攻击,基于给定模型的梯度生成对抗样本,如Fast Gradient Sign Method(FGSM);

  • 黑盒攻击(Black-box Attacks):神经网络结构为黑箱,仅通过模型的输入和输出,生成对抗样本;


虽然已有研究能用带有干扰的“眼镜”来攻击,但现有对人脸识别的攻击是白盒攻击,攻击者需要知道被攻击系统的内部结构和参数。然而,大多数现实世界的人脸识别系统是“黑盒子”,当攻击者无法访问模型详细信息时,白盒攻击显然不适用。

 

黑盒攻击是攻击者只能获取受害模型的输入输出信息,目前主要实现方法有基于迁移的攻击(transfer-based)和基于访问的攻击(query-based)。基于迁移的攻击能够以极少的访问次数(~10次)实现攻击,但不能保证个体级别的攻击成功。


基于访问的攻击则依赖于模型的预测分数,以高访问量的代价(~10000次)来提升个体攻击的成功率。根据访问过程中所获信息的特点,基于访问的攻击可以细分为基于分数的攻击(score-base)和基于决策的攻击(decision-based)。


基于分数的攻击需要获得一个连续的预测分数,但这在大多数现实场景中并不适用。比如,生活中的人脸识别系统只输出解锁/不解锁的离散决策,而不是一个相似度分数。当只能获得系统的离散决策时,基于决策的的攻击是更合适的选择。


图:基于决策的黑盒攻击设置演示


基于决策的攻击是直接攻击,完全依赖于模型的最终决策,只能通过输入输出,目前已经有几种方法被提出用来执行基于决策的黑盒攻击,优化方法(Optimization-based)、边界攻击(Boundary Attack)和在仅标签设置(NES-LO)中扩展NES方法。


然而,这几种方法大多需要较多的访问,效率不够,或是在有限的访问下生成的扰动较大。为此,朱军教授率领的研究团队提出一种更加高效的方法—演化攻击(Evolutionary Attack ),攻击的目标是通过有限的访问生成具有最小扰动的对抗样本,这是目前首次尝试在这种情况下对人脸识别进行对抗攻击的研究。


演化攻击(Evolutionary Attack)


最新提出的演化攻击,给定攻击的目标函数,可以单独通过访问生成对抗样本,通过对局部几何图形进行建模以找到更好的搜索方向,并减小搜索空间的维度以进一步提高效率。

 

不同访问数下,针对SphereFace,CosFace和ArcFace不同目标模型,优化方法生成的对抗图像在不同搜索空间维度下的平均失真(MSE),搜索空间的维度m设置为15×15×3、30×30×3、45×45×3、60×60×3和112×112×3,演化攻击在较低维度的搜索空间中收敛得更快。


应用演化攻击对目前几种先进的人脸识别模型进行鲁棒性评估,与上文提到的三种基于决策的黑盒攻击方法进行比较,分别进行人脸识别下两个子任务:面部验证和面部识别。

 

如表1、表2所示,在LFW数据集分别进行面部验证和面部识别的结果,SphereFace,CosFace和ArcFace不同目标模型下不同方法生成的对抗图像的平均失真(MSE),分别对应1000、5000、10000和100000访问次数,图1 、图2 分别对应的是失真曲线图。

表1

表2

图1 

图2


不难看出,演化方法的效率更高并且实现更小的失真,给定5000个访问下,演化方法的失真率比优化方法(Optimization)的失真率小约30倍。


从对抗图像和原始图像上来看,ArcFace目标模型下进行面部验证的逃逸攻击和模拟攻击,最初的对抗样本图像(下图虚线右侧第一张)是随机噪声或攻击的目标图像,随着访问次数的增加,对抗图像和原始图像之间的失真逐渐减小。

 

可以看到,2000个访问足以生成人眼无法察觉的对抗样本。对于NES-LO,首先使用标签预测来估计预测概率(例如,25个访问),然后通过NES近似梯度(例如,40次试验),此方法需要对一次更新进行1000次以上的访问,攻击效果最差。


另外,我们需要注意的是,人脸识别模型极易受到对抗样本的攻击影响,这些对抗样本以黑盒攻击方式欺骗神经网络,只有接近1e-5的失真,人眼完全不可察觉。


成功攻击真实世界的人脸识别系统


将演化攻击应用于腾讯AI Open Platform中的人脸验证API,以验证其实际适用性。该人脸验证API,允许用户上传两张面部图像,并输出相似性得分,将阈值设置为90,即如果相似性得分大于90,则预测两个图像是相同的身份,如果小于90,则预测是不同的身份。

 

从LFW数据集中选择10对图像来执行模拟攻击,每对的原始两张图像来自不同的身份,为其中一张添加扰动,使得API将两张图像识别为相同的身份。将演化攻击结果与Boundary 和Optimization方法进行比较,如下图所示,演化攻击下的失真仍然比其他方法小。



演化攻击生成的对抗图像在视觉上与原始图像更相似,人眼难以察觉,而其他方法生成的对抗图像失真严重,人眼可以察觉出。


最后:不容忽视的AI安全问题


尽管人脸识别技术在各种应用中取得了巨大成功,但完全基于决策的黑盒攻击——演化攻击方法通过结合针对图片的降维技术和演化算法,即便对模型的结构、参数完全不清楚的情况下,也可以对识别系统实现“最佳”的攻击,且无需大量访问、不易被察觉。可以说,这个方法将真实世界人脸识别系统存在的安全漏洞极大地暴露出来。


在实际应用中,如果被带有“特殊目的”的人攻击,后果将是不可设想的。


图:UC伯克利曾发布的物理对抗样本,以贴纸的形式放在停车路标上模拟干扰自动驾驶


比如超市的人脸支付,或许只需戴一副特质眼镜,就可以盗用他人账号进行支付;车站、银行的身份认证系统或许也会因为简单的干扰而误识,盗取他人身份。


再比如计算机视觉技术的其他方向,自动驾驶汽车的识别系统,路牌上(例如,将停车标志变成200公里/小时的速度限制)或路灯上(例如,将红灯变成绿灯)的微小干扰都可能造成严重的后果。

 

当然,对抗攻击技术的进步也将倒逼防御技术、AI安全技术的不断发展,一切研究都旨在打造安全、可靠的人工智能。


参考论文:Yinpeng Dong, Hang Su, Baoyuan Wu, Zhifeng Li, Wei Liu, Tong Zhang, and Jun Zhu.Efficient Decision-based Black-box Adversarial Attacks on Face Recognition

 

论文链接:(可自行下载)

https://arxiv.org/pdf/1904.04433.pdf 


(本文由瑞莱智慧RealAI整理撰写,如需转载请联系邮箱contact@realai.ai)


推荐阅读

☞  瑞莱智慧荣获2018年度海创最佳新星

☞  瑞莱智慧喜获“中关村前沿科技大赛”人工智能领域TOP10

☞  从“人工”到“无监督”:RealAI技术掀起工业检测新变革

☞  AI学术|一键视频“抠图”只差SiamMask代码?

☞  除了人脸伪装,“视频攻击”也在来的路上...

☞  “看图说话”(Image Caption)——如何生成多样化的图片描述?


明星创业团队招人啦!

扫我解锁岗位信息




您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存